达 至 人 底 炉 控制 死 套 吨 疝 赴 之 凋 加 厅 


炎 詹 

根深 蒂 固 怜 基 於 分 打 同 肥 恩 分 公 对 区 动物 动态 殉 脱 法 ， 虹 半 夫 入 黄 辑 朵 ( 亦 称 强化 学 

习 ) 无 理论 傈 讲 和 至 淹 庆 点 样 可 以 储 季 准 和 但 供 对 族 某 个 环境 无 控制 。 但 叙 若 果 大 家 想 岑 于 
近乎 真实 环境 殉情 况 之 下 成 功 惟 用 到 强化 学 习 师 话 ， 蛤 全 淹 知 就 会 遇 到 个 重大 问题 : 但 供 
必须 由 至 高 维 感觉 插 抹 夺 季 只 类 春 玫 有 效 而 模 据 奔 个 环境 无 川 夺 从 乔 伟 ， 从 而 用 邓 他 星 
羞 双 弄 邹 黎 由 过 去 死 经 验 去 其 斌 肪 办 和 到 村 新 殉 状 驴 。 出 乎 意料 ， 人 同 其 他 动物 都 好 犀 
利 ， 似 乎 都 可 以 结合 强化 学 习 同 至 阶级 式 殉 威 党 处 理 系统 孚 两 样 野 黎 解决 个 问题 [4,5] ， 
前 者 傈 以 大 量 无 神经 庆 堆 黎 解释 他 不 并 兰 双 内 此 P49 和 T 和 A 发射 殉 寺 人参 参 护 公 同 硅 符 站 他 
类 址 明生 叶 平 赴 公 商 妃 采 子 改 上 且 超 之 间 殉 相似 之 不。 纵使 盏 强化 学 习 淹 课 伯 可 以 恰 某 线 
类 夺 齐 为 得 到 些小 成 功 [6,7,8] ， Sa 上 账 至 可 以 手 整 实 用 无 直 此 抑或 于 
全 面 可 观 而 低 维 无 条 关 朵 人 无 奉 章 为 人 便 。 圣 窜 夸 ， 我 供 握 关 旅 着 奇 败 明 磊 秀 近 排 无 进 
展 [9,10,11] 黎 研发 一 个 称 之 为 碍 a f 拓 ， 而 个 认 姑 条 可 以 用 尚 季 商 无 强化 学 
习 由 高 维 感 党 半 状 直接 学 夺 全 成功 殉 阐 好 伞 。 我 供 据 引 一 至 具 挑 载 性 殉 经 典 闪 锥 吁 2600 
殉 呈 [12] 歼 做 个 淹 课 殉 笃 和 大 李 夯 章 长 。 我 供 证 明 上 性 泽 傈 氛 至 站 参 同性 无 分 数 黎 做 笠 抹 无 
杜 Q 有 县 夸 放 闫 胸 ， 傈 可 以 超越 从 台 兰 之 前 疏 斑 子 愉 时 零 无 钼 赴 革 之， 而 同一 个 子 上 时 蕉 ， 
硕大 茜 旱 同 必 瓶 站 噬 问 喜 傈 瞧 49 个 性 奔 达 到 一 个 同 专业 人 肉 试 性 者 死 疾 起 相约 。 邓 份 秀 
解决 绰 高 维 威 党 羊 拓 同 全 怀 急 之 间 殉 分野， 从 而 摧 造 引 第 一 个 可 以 去 学 点 样 去 战 腾 一 施 广 
泛 而 具 挑战 性 无 广 同 任务 。 


4X 
mk 


我 供 决 定 引 要 找 造 一 个 可 以 一 全 惟 多 样 而 带 挑战 性 殉 任 务 夺 建 立 夺 一 术 广 同 能 力 死 子 改 虹 
人 $， 亦 即 叙 怀 研 昌 鞋 季 地 将 竹 压 好 舌 公 无 其 中 一 个 迷惑 大 前 人 努力 [8,14,15] 无 中 心目 标 
[13]。 为 几 要 达到 邓 个 目标 ， 我 供 就 砌 几 个 新 匹敌， 一 个 奇 Q 硕 硅 (简称 DQN) ， 而 个 
新 兴 基 休 可 以 软 先 广 强 化 学 习 同 埋 一 种 叫 奔 肥 恩 据 秀 匹 年 季 直 将 肥 恩 响 厅 [16]。 此 有 ， 
近期 杜 肥 顺 磊 邯 无 进展 [9,10,11]， 即 傈 要 扎 效 层 码 加 秆 黎 逐 渐 雪 类 一 他 更 抽象 无 庆 礁 里 
车 从 弄 急 ， 傈 可 以 令 到 个 闪 季 坡 凋 败 咏 丘 革 可 以 由 至 只 依 余 叶 讲 礁 学 夯 某 于 概念， 譬如 

物体 无 广 同 种 类 “。 我 供用 一 个 特别 成 功 匹 革 时 坊 些 ， 即 傈 这 捍 填 好 急 防 及 防 吐 奇 [17] ， 
用 线 层 乔 关 日 卦 好 急 防 赵 稚 黎 模仿 时 余 季 类 热天 殉 效 果 一 一 仇 敢 告 (Hubel) 同 至 兴 
(Wiesel) 怜 早期 地 条 时 者 和 [18] 入 面 无 械 境 天 于 爹 么 全 所 研究 无 全 圣 肪 奇 管 发 硅 一 一 所 以 
就 多 参 证 天 春 奴 至 相 入 面 匹 访 界 逢 季 时 旦 加 邹 ， 亦 都 建立 夺 对 有 顺 靳 盘 和 直 冶 忽 ， 即 傈 辟 
如 邦 并 T 或 者 会 湖 殉 改变 ， 所 带 歼 殉 肪 御 癸 充 入 。 


我 供 考虑 一 本 任务 ， 而 李 任 务 里 面 殉 淹 基 各 经 过 一 排序 殉 观 察 、 避 急 同上 及 香 笋 同 个 环境 互 
动 疏 。 个 放 舌 死 目 标 就 傈 要挟 一 李 会 意 合 弃 关 夯 赵 些 归 六 许 季 类 吁 大 无 总 盆 。 赴 郑 李 要 
讲 ， 我 供用 一 个 查 些 赴 即 分 肪 以 是 三 秀 歼 半 产 件 章 类 个 总 盆 才 罗 直人 用 

C (s,a)= maxk|r Fyrerit+y rt ...|s1=s, at=a, r|， 

即 休 以 一 个 毕 盯 才 是 办 籽 从 \pi = P(als) ， 赂 这 由 个 供 佑 胡 作 s 同 委 由 个 央 会 a 之 后 胸 ， 


瞧 每 个 齐 文 状 {t 介 昨 凌 地 人 星 无 意 合 蕉 令 全 时 奇 入 r_t 《详情 又 该 嫉 问 起 六 ) [19] 。 


当 一 个 夺 寻 有 邮 准 直 急 壮 送 人 牟 章 锥 ， 壁 如 及 是 性 竺 ， 傈 扎 歼 代表 个 忆 怨 # 办 〈 亦 称 Q) 赵 
会 ， 肾 时 手相 冯 商 刀 厅 就 会 变 得 又 纠结 或 者 甚至 乎 会 奔 碾 灶 [20]。 池 个 又 稳定 性 公有 线 
个 起 因 师 : 

一 、 一 捉 灿 察 之 问 死 时 虹 加 全 

二 、 微 调 怜 调 凶 Q 所 亲 致 答 关 好 们 上 殉 大 幅 改变 ， 而 故此 改 半 个 弃 欠 棱 入 丢 丢 忽 

三 、 村 辟 凶 未 办 Q 同伴 锥 怖 不 办 r+\gamma max_{a'} Q(s',a') 之 间 殉 时 虹 加 全 
基 於 要 解决 举 棱 又 稳定 因素 ， 我 供 就 整 绰 个 新 款 殉 Q 思 亲 ， 有 用 到 两 个 后 齐 村 闪 。 起 手 
有 证 ， 伍 作用 时 一 个 受 生物 管 八 殉 意 盟 好 今 ， 岂 做 终 知 有 只 虹 新 [21,22,23] ， 而 傈 会 明 奔 准 


公 季 齐 套 ， 故 此 就 会 剖 皮 至 具 个 观察 排列 入 面 无 嘿 吨 胃 肢 同 埋 舒 关上 几 妈 庆 礁 地 从 和 群 去 
无 改 释 (详情 晓 下 面 )。 此 有 ， 我 供用 皮 个 必 彰 叮 季 类 半价 关 ， 其 中 会 调节 人 怀 凶 托 办 (Q) 
做 兆 作 会 间 中 半 峰 齐 关 殉 礁 尾 矩 妈 ， 故 此 减低 尺 邹 耗 放 同 锥 怖 殉 宁 时 加 邹 。 


起 


趴 然 有 其 他 知 竺 而 可 以 岑 强 化 学 习 殉 健 季 扎 歼 厢 肥 咏 性 竺 殉 尝 炒 ， 辟 如 有 有 以 咏 越 碗 尖 Q 
注 吾 串 倪 ， 但 傈 他 李 竞 起 傈 需要 重复 同 李 咏 直 (de novo) 惟 用 数 百 个 必 矿 时 急 歼 拓 村 县 
秃 。 所 以 李 李 次 起 死 效率 会 低 得 好 交 关 ， 傈 文 可 以 成 功 惟 同 大 死 牙 是 三 秀一 讲 用 ， 就 又 
似 得 我 供 死 学 改 皮 夫 怜 。 

我 供用 筷 卜 岭 却 晶 1 死 查 日 直 好 忽 态 履 咏 顾 秀 黎 阔 旺 总 壹 吟 关 一 个 平 疾 伞 训 耗 放 直 仿 
Q(s,a;\theta_i)， 其 中 \theta_i 傈 地 滋 亚 串 肢 | 疏 阵 瞧 个 QJ 冉 秀 里 挡 死 存 吃 次 避 ( 即 么 村 
乔 云 ) 。 想 做 岁 售 及 只 串 亲 丰 ， 我 供 就 扒 每 个 工 去 伏 tt 好 一 个 春 敌 傅 D_t= 
Me_1.e_tN} 储 起 败 个 放 季 死 经 验 e t= (statrts fttl)。 加 叮 疏 阵 距 ， 我 供 平 脸 
计 Qj 界 1 平 弃 关上 地 由 储 起 几 死 全 半 春 涵 好 直 沁 好 类 明太 性 抽 到 一 堆 多 结 呈 只 (s,a,r,s') 
~ U(D) 死 匀 新 〈 亦 叫 享 邮 革 上 全) 。 个 Q 回 打上 深意 是 舍 | 就 用 圣 个 媳 关 直 乃 : 


(r+ y max OU a'; 0 )— QO!(s,a; 0) ) | 
a 


其 中 中 \gamma 傈 代表 决定 个 并 关 无从 吟 会 无 他 入 星 直 礁 ，\theta_i 休 必 夸 叫 急 i 改 陋 
上 心 Q 丘 夺 入 面 扎 黎 呈 站 天 个 和 其 晤 无 瓶 吐 对 总 穴 ， 而 个 稚 晤 顾 邦 无 瓶 吐 对 总 既 傈 每 C 步 先 
至 会 半 齐 全 Q 丘 竺 瓶 吐 对 意 ， 具 从 平 齐 之 问 傈 会 示 公 死 几 地 瓶 旺 学 兰 〈 虹 次 起 么 ) 。 


L;(0;) 三 本 ,~UrD) 


为 几 双 才 族 天 我 供 无 DQN 放 邮 喷 ， 我 供 就 利用 性 蔷 堆 吨 2600 难 个 平台 ， 而 伍 傈 可 以 提供 
奔 一 婚 广 同类 型 得 黎 对 於 人 黎 讲 傈 多 互动 同 有 挑战 性 无 任务 (n=49)。 我 供 心 富 兰 无 任务 舍 
用 上 时 同一 个 及 咏 鞋 星 意 些 ， 必 起 瓶 吐 学 总 才 帮 六 〈 虐 多 知 磷 类 弃 稚 弄 告 1) 同 力 采 狐 
全 | 上， 用 卜 高 维 弃 礁 (60Hz 210 X 160 界 族 示 李 者) 黎 做 卑 灯 ， 蛤 样 黎 证 明 我 供 无 干 羯 
蕊 有 监 文 同 种 类 无 导 奔 泽 傈 靠 个 余 吐 竹 亲 〈 即 傈 至 乎 闲 庆 竺 泽 傈 包 视觉 图 片 同 内 每 个 性 
殉 尺 急 数 量 ， 而 又 包 全 尺 急 现实 质 功 能 ; 详情 上 蜡 问 起 之 ) 而 叙 晨 癸 好 蛤 学 夺 成 功 殉 桨 好 
合 。 尤 其 砚 ， 我 供 无 问 起 傈 可 以 稳定 惟 用 个 时 乎 赴 公 商 刀 厅 死 今 态 同 埋 振 指 夭 胡 硅 吴 他 
公关 黎 着 奔 奉 大 无 用 只 丘 委 ， 而 对 样 野 可 以 扒 两 个 媚 朵 插 六 入“〈 即 傈 个 放 舌 瓶 夹 凶 参天 


死 平 均 分 数 同 埋 平 均 推测 无 Q 直 族 ; 详情 虹 赵 己 2 同 埋 伞 着 凋 总 时 玉 么 失 和 分 ) 无 至尊 吃 


沙 卦 好人 急 夺 有 刀 得 到 。 


我 供 将 DQN 同 村 其 他 恰 虹 半 境 必 衣 力 厅 文献 入 面 崔 路 49 个 是 有 时 会 关 而 表现 得 至 好 殉 训 
起 比较 [12,15]。 除 账 地 学 败 野 死 放 其 至 外 ， 我 供 亦 都 哇 狗 几 一 个 好 专 业 人 肉 试 上 性 者 有 控 
制 死 情况 之 下 玩 尾 同一 个 竺 邓 赴 汉 好 状 咖 夸 怜 挟 总 伟 死 竹 好 拿 得 出 死 分 数 ( 岁 知 充 尖 讲 
压 弄 等 2 同 未 蝴 3， 岭 Y 总 件 必 将 从 产 同 明 夸 表示 做 100% 同 0% ; 晓 误 起 姜 ) 。 我 供 死 
DQN 壮 动 司 43 个 呈 夺 超越 给 现成 至 好 怖 ， 而 池村 实验 休 三 包括 夺 惟 其 他 兴 刹 长 大 ( 壁 如 
N 大 212 同 15) 有 用 到 死 任何 关於 举 徐 旦 2600 李 泪 殉 装 举 知识 师 。 上 有 ， 我 供 殉 DQN 
并 其 打 机 死 计 直上 好 过 oo 又 多 是 ， 内 多 过 75% 死 性 
春 入 面 傈 超过 上 邮 专 业 人 肉 试 上 者 死 分 数 赋 (29 个 性 ; 晓 赵 鼎 3， 什 辩 音 毒 星 李 交 插 冯 用 同 
埋 岁 知 磷 头 讲 礁 弄 竺 2) 。 具 夺 额外 死 参 疡 加 伟 奔 奔 且 (上 虹 伞 疾 凋 毒 吨 李 六 措 六 用 同 埋 
岁 哲 充 尖 庆 稚 乔 千 3 同 4) ， 我 供 将 瞧 DQN 死 核心 部 件 ， 即 傈 个 吁 新 吝 订 吨 、 分 上 几 出 黎 死 
徘 刁 Q 吴 秀 同 埋 个 硒 早 赴 妊 会 六 欢 后 秀 准 邱 于 此 ， 再 以 硅 闪 认 竺 本部 件 所 半 致 殉 不 利 
因素 笋 去 证 明 惟 DQN 入 便 每 个 核心 部 件 殉 重 要 性 。 


跟 住 奈 ， 怜 逢 乏 羊 才 奉 么 举 个 导 殉 单 责 入 入 便 ， 我 供 就 瞳 绰 令 到 

个 才 基 可 以 成 功 惟 羯 赴 坟 而 健 DQN 学 Do tn 
机 死 示范 ) ， 用 上 凤 个 叫 「 季 和 舒 (t-SNE) 」 [25] 死 总 鸭 黎 超 祭 界 关 至 高 维 奔 礁 〈 赵 蜡 4) 。 
上 预期 之 内 ， 个 季 结 子 改 虹 超 会 ee 
落 去 附近 无 半 大 。 有 趣 惟 研 ， 我 供 亦 都 揭 帮 至 少 铸 至 天 旦 否 黎 讲 俐 近 但 作 感 沉 上 作 叉 似 
( 赵 上 4 无 下 右 角 ， 左 上 角 同 中 间 ) 殉 知 关 吃 籽 从 乔 你， 而 邓 个 观察 休 同 个 丘 和 邯 傈 可 以 由 
李 高 维 感觉 笠 六 学 春 舍 狗 沙 克 邓 类 毕 休 圭 居 无 咏 籽 从 乔 伟 季 个 概念 傈 符合 惰 。 虑 有， 党 
我 供 惟 于 余 雪 加 祭 窜 将 至 人 同 放 知 所 体验 无 性 僻 关 地 类 入 去 个 版 邯 ， 记 低 上 几 最 放 情 必 个 
必 闫 加 僚 同 埋 地 条 办 入 绰 季 结子 改 且 超 庆 碾 叫 关 出 歼 殉 羊 答 于 改 坛 时 《多 知 磷 类 弃 乔 
孝 昨 1 同 埋 件 狐 背 态 旦 至 和 失 和 人 急 ) ， 我 供 亦 都 筷 夺 DQN 所 学 绰 殉 里 知名 弄 急 公 可 以 类 
甩 遇 界 宝 到 由 其 他 着 好 全 其 刻 电 关 出 黎 死 价 礁 。 几 知 大 序 徐 支 幅 2 提供 具 多 一 个 学 族 科 
急 黎 人 筷 DQN 学 由 殉 瞎 大 名 弄 急 休 可 以 点 令 到 DQN 可 以 准确 怜 估 到 至 知 关 同 尺 急 耗 权 。 


值得 提 旺 就 傈 DQN 可 以 赢 夯 无 上 3 种 类 上 傈 极度 广泛 惰 ， 由 分 天 锁 订 全 天 〈 叶 赴 串 天 ) 
到 竺 全 性 ( 笔 从) 同 埋 三 维 赛车 旺 〈 六 季 咏 ) 都 包 。 的 确 ，DQN 凤 某 于 性 傈 可 以 发 现价 
个 比较 证 意 文 无 额 礁 上 好 ( 壁 如 ， 岭 先 侨 记 ， 个 淹 基 殉 丘 先 邮 就 学 夺 个 局 李 半 用 于 是 ， 即 
叙 要 首先 惟 个 窗 跟 殉 周 圈 硅 气 个 麻 ， 和 从 而 可 以 间 夺 个 失去 到 后面 黎 打 破 大 量 死 大 ; 详情 可 
以 内侍 逻 商 瑟 虹 示 季 有 2 瞳 夺 DQN 死 表现 傈 奴 着 休 邓 个 过 程 窜 傈 点 样 去 发 展 ) 。 即 使 傈 
稚 ， 对 於 呈 短 现 全 殉 庆 姑 歼 讲 有 成， 包括 DQN ， 需 要 多 于 长 带 乒 至 上 7 死 旦 仍然 都 红 叙 其 中 
无 一 个 主要 挑战 。 


瞧 邓 份 夺 大 ， 我 贷 符 圣 币 关 春 一 个 芷 星 坊 此 可 以 傈 基 攻 好 少 粉 车 知识 无 前 提 下 成 功 蛤 瞧 广 
泛 无 广 同 环境 春 学 春 至 时 天明 奏 好 全 ， 而 傈 泽 傈 要 握 他 站 参 同 埋 尾 无 分 数 黎 做 乎 业 ， 瞧 
每 个 导 奔 用 同一 个 子 4N 了 冰 ， 吴 邦 鞋 旱 坊 此 同 埋 愉 扯 瓶 是 问 产 ， 即 傈 泽 傈 收 到 人 肉 打 上 尾 
者 所 收 到 无 持 亲 。 同 之 前 无 邯 相 比 [24,26]， 我 供 无 干 闲 达 插 扶 痊 昕 关上 几 「 肖 生肖 无 强 
化 学 习 ， 用 虹 徊 黎 不 断 惟 将 至 岑 个 捍 填 好 邹 态 顾 夺 里 便 无 星 籽 个 齐 对 休 并 做 一 至 黎 自 环 
境 而 可 以 扎 黎 赴 全 好 乔 关 耗 权 天 邓 齐 急死 和 从 好 吴 二 许 。 邓 个 夺 全 闲 引 用 肯 神 经 生物 无 证 
据 ， 即 傈 以 哇 香 依 护 黎 做 手 余 将 妃 亲 傈 可 能 会 影响 夺 岭 个 芥 齐 关 地 条 持 六 六 入 面 无 星 籽 
侣 乔 肢 无 特质 [27,28]。 尤 其 呈 ， 强 化 学 习 同 硒 磊 夸 乍 旱 坊 些 无 融合 之 所 以 成 功 几 傈 基 放 
我 供 半 时 某 昕 关上 昨 个 可 以 逢 同 代表 近期 曾 体 验 新 伞 邹 死 虹 新 子 上 性 时 礁 [21,22,23]。 旱 报 骨 
关 淆 地 奇 冯 话 健 我 供 占 答 冯 半 殉 脑 入 面 殉 虞 新 皇 准 么 物理 上 可 能 休 可 以 什 染 夺 同 实践 村 
个 怜 样 殉 灶 驳 入 ， 而 瓜 侍 快 界 轴 闻 时 所 必 阵 时 〈 璧 如 乔 时 吃 侠 ) 会 有 近 排 体验 过 匹 大 上 
薄 叶 无 齐 文 室 帮 侨 叶 总 季 才 人 肢 [21,22] 黎 提供 个 站 稚 季 类 总 屋 邮 令 ， 而 傈 可 以 同 个 并 估 性 
籽 秆 互动 从 而 可 以 有 效 惟 说 弃 关 从 地 才 帮 直 肢 刁 [22]。 未 来 黎 讲 ， 探 索 点 样 去 将 之 弛 时 
去 时 新 死 内 容 偏向 一 至 分 好 吴 匹 竹 胡 关 会 傈 重要 无 委 ， 亦 即 傈 一 个 可 以 里 叭 意 吟 之 春 经 
验 上 枫 察 无 人 赴 旦 闲 时 洒 ， 同 埋 同 强化 学 习 入 便 无 「 闪 让 吵 齐 余 后 条 」 有 移 鹤 无 现 象 。 
抽 埋 一 竟 ， 我 供 择 份 秀 讲 明 皮 点 利用 受 生物 总 屋 人 好 仿 管 发 无 向 关 似 季 送 鞭 姥 回采 坊 败 ， 
从 而 扎 至 六 有 鸡 黎 括 造 可 以 精通 一 底 广 泛 具 挑战 性 无 任务 匹 首 闫 。 


次 起 之 


着 丰 上 芋 公 全 

直接 稼 用 原 有 无 鞋 故 叶 2600 匹 如 六 对 於 嘿 文雅 乔 祭 同 埋 圣 计时 黎 讲 可 以 傈 相当 苛刻 无 一 
件 事 。 我 供 王 疮 上 几 个 基本 无 籽 浆 爹 穴 全 拓 ， 氛 黎 沽 低 个 半 挫 殉 奔 凋 急 用 畴 至 兼 不 理 埋 一 
村 同 准 锥 用 2600 有 了 关 殉 闪 邓 友和 。 起 手 ， 为 卜 沿 旦 单独 一 个 盾 文 昧 ， 我 供 就 从 尚明 慰 殉 
姥 光 同 前 一 个 闭 注 死 每 个 交 欠 旱 许 赵 帮 夯 扎 个 总 全 入 赵 族 。 邓 个 步 又 傈 需要 归 ， 因 为 要 
邮 革 类 走 他 上 奴 个 性 入 面 会 出 黎 皮 下 皮 下 无 野 ， 即 信 有 某 和 物件 泽 傈 会 内 台数 无 新 文 出 现 ， 
有 其 他 物件 会 司 单数 无 帮 文 出 现 ， 而 邓 个 现象 傈 因为 乍 状 时 2600 必 个 圣 价 可 以 一 次 过 出 
锥 天 无 数量 信 有 限制 刁 。 第 二 于 ， 我 供 跟 住 就 由 个 RGB 秋 文 窜 多 技 关 个 Y 姑 肪 〈 亦 称 业 圣 
古 疾 ) 出 黎 ， 同 埋 将 个 闭 光 虹 饶 少 做 84 X 84。 崔 下面 描述 无 学 咯 肥 埠 1 死 起 驰 中 就 将 兴 
个 亲 # 驳 和 大 全 圩 欠 落 去 m 个 最 近 殉 敌 文 ， 跟 住 织 埋 一 彰 黎 整 大气 黎 塞 入 个 Q 趟 怨 殉 于 

闲 ，m 有 降 就 等 族 4， 具 然 广 同 赵 族 无 m 文 会 对 个 子 改 时 共有 太 大 影响 。 


星 苦 胡 隶 毕 好 季 
个 件 太 旦 可 以 怜 https://sites.google.com/a/deepmind.com/dqn 硅 提 夺 ， 侍 旦 兆 作 可 
以 扎 黎 做 非 商 业 用 途 殉 野 。 


其 实 所 一 个 肥 顺 秀 黎 阔 川 文 圣 袁 只 关 Q 邓 样 野 休 有 绑 种 方法 无 。 因 为 Q 将 季 压 史 尽 人 用 
撕 准 玫 去 相应 而 他 炸 匹 预 计 Q 赵 族 ， 有 地 以 前 无 主攻 纪 [25,26] 会 握 个 历史 同 总 肘 黎 做 败 
咱 丘 秀 死 笠 业 。 但 傈 婚 ， 圣 种 芷 旱 坊 此 死 主 要 缺陷 就 傈 因为 你 每 计 一 次 某 个 总 祭 匹 相应 Q 
直 帮 喷 就 要 做 一 次 直入 兰 冯 类， 结果 就 傈 计 某 个 知 关 加 兰 至 总 用 无 对 应 Q 直 族 无 成 本 就 会 
以 辟 叙 死 数量 黎 奸 邮 乍 好 惟 休 寿 主 。 我 供 反而 胸 ， 就 用 一 个 芷 时 总 此 ， 会 每 一 个 总 人 肢 都 
有 自己 无 关 业 ， 而 个 欢 吐 磊 攻 个 插 皇 就 泽 傈 收 个 条 关 吃 籽 从 乔 伟 。 蛤 样 喷 ， 至 爆 未 就 继 
性 傈 某 个 拉 业 天 关 之 下 成 县 总 乡 所 对 应 无 预计 Q 直 罗 。 邓 个 方法 无 主要 好 处 就 傈 可 以 瞧 
个 县 秀 夺 上 岑 用 一 次 过 殉 境 入 类 故 关 就 已 经 可 以 为 某 个 向 关 直接 计 从 加 痊 李 总 翁 匹 相应 Q 直 
放 。 


心 赵 局 1 准 确 愉 画 出 黎 无 车 星 坊 此 傈 恰 样 是 。 个 丘 委 无 插 六 傈 由 一 幅 相 组 成 屋 ， 傈 由 个 好 
痊 爹 矢 倍 次 中 整 出 黎 。 第 一 个 民 否 加价 会 日 填 类 32 块 8 X 8 而 有 靳 天 4 无 趟 和 震 ， 跟 住 
会 干 欠 个 中 季 夫 乍 时 轩 邮 送 毗 地 [31,32]。 第 二 个 必 商 加 蔷 会 日 填 类 64 块 4 X 4 而 有 欠 
天 2 无 赵 堆 ， 同 样 疹 亦 都 跟 住 会 主 欠 个 叭 季 夫 鞋 。 再 跟 住 喷 就 有 第 三 个 里 赴 好 伟 肪 加 

捧 ， 会 早 赴 类 64 块 3 X 3 而 有 装 尖 1 殉 赵 稚 ， 跟 住 会 半 准 个 中 于 超 闪 。 最 初 层 匹 凡 否 加 
做 就 保 趣 好 单 训 移 关 ， 而 你 有 512 个 蝶 季 境 准 地 脱 。 个 侨 炎 加 腓 公 一 个 村 好 蛙 识 和 芭 天 村 
有 邮 闪 加 敌 ， 而 每 个 有 效 无 总 祭 休 有 一 个 矣 尊 。 监 我 供 考 虑 上 几 匹 性 之 中 ， 有 效 总 祭 匹 数量 
傈 介 平 4 同 18 之 问 。 


着 朵 详情 

我 供 瞪 其 他 可 比较 殉 尝 起 都 有 了 虹 会 关 殉 49 个 闪 锥 吁 2600JF 夺 做 目 实 验 [12,15]。 每 忱 全 一 
个 性 就 用 上 [个 广 同 无 磊 委 ， 但 傈 都 傈 用 上 几 同 一 个 顾 邯 芷 星 坊 此 ， 思 朵 子 改 皮 埠 同 恰 关 8 关 
性 圣 意 全 地 〈 蜡 多 知 磷 关 褒 大 乔 知 1) ， 蛤 样 黎 秘 夺 我 供 死 半 新 僚 崔 又 同 游 戏 夺 和 故 得 歼 
都 钢 咏 特 会 ， 而 俐 滔 公 有 半 富 MT 关 夺 至 少 殉 芥 准 知 识 〈 蜡 下面 ) 。 哈 然 我 供 崔 至 原 汁 原 
味 殉 村 移 全 我 供 殉 齐 骨 ， 但 作 我 供 瞪 类 采 昨 阵 时 岭 字 性 殉 盱 奇 所 鉴 窜改 性 一 样 野 。 即 
叙 肪 ， 呈 分 数 殉 钱 省 会 同 又 同性 之 间 会 好 又 同 ， 所 以 我 供 就 将 正 数 殉 虹 奇 吓 短 频 

分 崔 1， 而 将 奥数 殉 虹 奇 驯 竹 咕 人 岭 -1， 剩 返 匹 零 上 且 奇 就 又 郁 。 星 样 皮 法 及 就 会 限制 由 
夺 只 类 出 黎 改 个 沙 昨 殉 使 湖 ， 同 埋 可 以 岭 又 同 死 性 村 用 返 同一 个 妃 采 串 关 。 与 此 同时 ， 
符 个 改动 可 能 会 影响 从 个 放疗 匹 钼 赴 妆 办， 因为 但 又 可 以 分 辨 春 广 同意 人 怠 徐 无 时 奇 。 对 於 
村 有 加 类 星 礁 无 蛙 黎 讲 ， 个 芷 考 吨 2600 圣 妥 加 稚 亦 都 会 人 把 剩 返 有 绑 多 人 条 始 关 ， 而 他 样 野 
心 交 性 阵 时 傈 扎 黎 记 低 一 个 炎 闻 耸 天 线 时 会 完 。 


性 罕 地 实验 春 喷 ， 我 供用 此 RMSProp (上 嫉 
http://www.cs.toronto.edu/~tijmen/csc321/slides/lecture_slides_lec6.pdf) 有 符 个 子 
iN 了 疙 ， 傅 上 几 广 邮 星 此 全 六 做 32。 舌 采 败 障 ， 个 华电 地 沪 痊 好 合 傈 = 邮 柱 师 ， 岭 栋 改 一 
百 万 个 媳 注 村 将 8 由 1.0 轩 有 好 准 好 怜 类 肥 注 到 0.1 ;之 后 就 朱 生 死 岭 0.1。 

我 供 乎 大 入 用 皮 五 千 菌 个 媳 文 黎 做 着 打 〈 即 傈 乔 有 差 文 多 38 日 死 上 经验) 同 埋 用 上 性 个 
可 以 储 起 最 近 100 万 个 新 义 死 吨 产 圣 认 时 。 


同 之 前 一 至 扎 黎 玩 鞋 礁 叶 26001 匹 平 动 帮 一 样 ， 我 供 亦 都 有 用 到 季 文 颌 亲 邓 个 坊 用 
| 知 会 内 每 k 个 姥 支 做 观察 同 丘 尺 忽 ， 了 又 休 崔 每 个 嫉 文 做 ， 而 

近 挟 无 总 肢 会 凤 玫 颌 性 无 和 文 大 重 复 。 就 傈 因为 哮 个 译 交 加 徐向前 喷 一 个 知 邓 样 野 所 需 
a 导 多 义 声 ， 所 以 邓 个 夷 肋 就 可 以 令 到 个 乔 歇 有 得 
玩 多 大 概 k 售 殉 呈 得 黎 广 使 点 增加 个 吐 春 文 。 恰 器 六 琴 性 大 及 ， 我 供 将 k 佐 做 4。 


李 性 并 并 蓉 彰 同 埋 们 季 冯 分 肢 看 喷 圣 达 辐 痊 都 傈 由 插 、 效 和 闫 、 全 略 羡 、 朵 从 笠 才 硅 之 
人 

因为 相关 殉 运 算 成 本 实在 太 高 诈 。 兴 全 排 轻 辛 右 有 际 ， 就 岑 又 同 死 呈 大都 傈 维持 一 样 师 。 所 
有 状 吐 对 彰 无 括 族 同 至 公 领 肢 都 扒 多 知 甘 天 乔 知 1 从 提供 分 。 


我 贷 匹 实验 倒 主 只 有 用 到 以 下 匹夫 乍 知识 : 至 卑 国 庆 礁 泽 信 有 至 直 箱 多 问鼎 (日 卦 好 忽 
六 肥 因 味 装 ) 、 蛙 入 便 无 分 数 〈 改 到 ) 、 尺 急死 数量 ， 不 过 又 会 同村 尺 急 殉 性 质 有 关 
无 资料 〈 璧 如 话 边 个 总 对 傈 对 应 个 平 【和 上 ) 同 埋 生 命 元 数量 。 


亚 直 好 记念 程序 

我 供 亲 上 几 出 黎 死 州 知 就 逐个 生 玩 上 昨 州 次 ， 每 次 至 多 玩 5 分 钾 、 用 咀 夸 弃 任 上 几 死 笠 邮 生 早 
碎 印 (『「 肪 局 ; 瞳 鸭 向 磷 类 弃 稚 乔 背 1) 同 埋 用 一 个 县 几 gs = 0.05 殉 se 地 他 痊 好 全 。 难 
样 奔 邓 个 程序 就 可 以 减低 改 评 估 上 疏 阵 时 者 亏 赵 无 可 能 性 。 


个 明寺 放 舌 就 握 黎 做 周公 办 关 同 其 他 问 起 田 阔 鞋 ， 用 10Hz 无 寻思 全 黎 挟 总 用 ， 即 傈 每 六 
个 着 文兵 一 次 ， 瞧 后 尺 凶 之 间 殉 着 文 大 重 复 上 一 次 挟 败 个 所 忽 。10 Hz 大 概 信人 肉 玩家 可 
以 傈 蛤 拒 个 「 盐 乍 」 所 无 最 高 寻 葛 全 ， 同 埋 挟 邓 个 寻 辕 全 可 以 皮 某 邓 性 窜 防止 春 李 赵 匹 并 
公 堆 才 分 数 。 我 贷 亦 都 竺 人 金 和 上 内 个 明 夸 放 舌 无 狂 赴 妾 适 ， 个 明 夸 用 60Hz 死 婚车 全 〈 即 傈 
每 个 胡 文 ) 黎 挟 总 祭 。 蛤 样 改 法 喷 对 个 产 赴 妾 从 黎 讲 就 蕊 效果 ， 泽 傈 此 六 个 导 从 个 内 大 
办 人 羡 DQN 撼 赴 妾 和 有 超过 5% 无 释 动 ( 笔 什 、 穆 全 、 人 萌 件 出 闪 、 人 于 关 鞋 坊 、 软 同 明知 再 


册 ) ， 而 对 仔 尾 台 兰 都 傈 一 地 DQN 同 个 专业 人 肉 玩家 无 钼 赴 任 公 他 分数 休 有 明显 差距 无 
呈 笋 师 。 


个 专业 人 肉 试 性 者 用 上 [ 同 李 放 冶 傈 一 样 无 诗 妥 加 凑 问 媳 ， 而 傈 此 有 控制 无 情况 之 下 玩 

刁 。 个 人 肉 礁 穴 奉 玩 忻 阵 时 休 广 可 以 站 公 ， 分 类 或 者 时 炉 天 至 性 刁 。 正 如 原本 无 符 苍 叶 
2600 丫 扮 乍 凋 关 ， 个 圣 妥 加 礁 瞧 用 上 内 60Hz 黎 吴 ， 而 个 企 他 大 交 国 就 地 公 刘 背 必 。 故 此 ， 
个 人 肉 玩家 同 个 询 课 所 收 到 死 台 什 盱 阅 闪 就 变 卜 休 完全 等 同 拥 。 每 个 必死 俊朗 薄 赴 妾 之 
就 保 由 大 约 甘 个 至 多 长 过 五 分 锌 殉 沙 交大 得 出 黎 殉 平均 时 盏 ， 而 每 个 导 充 全 之 前 休 有 大 
概 两 粒 钾 练 习 时 间 移 刁 。 


子 沾 N 了 夫人 

我 供 考虑 一 到 任务， 而 任务 入 面 庆 课 会 用 一 连 串 尺 急 、 观 察 同 埋 虹 奇 黎 同 个 环境 〈 即 傈 个 
六 礁 盱 诗 用 加 和 礁 ) 互动 。 瞧 每 个 乔 文 佑 砚 ， 个 并 其 会 由 一 会 好 必 无 性 辟 用 \textbb{A] = 
NM1…,KA} 奔 挟 一 个 总 祭 。 跟 住 肝 个 总 祭 就 会 着 入 几 去 个 译 才 加 礁 ， 等 但 黎 改 全 卑 彰 护 知 
关 同 埋 个 性 无 分 数 。 首 必 咏 奔 ， 个 环境 可 能 傈 分手 效 是 。 个 放 舌 傈 虹 文 邦 个 竺 妾 加 礁 无 
卑 总 肪 人 关 惰 ， 反 而 殉 ， 个 放 知 会 暗 夺 一 幅 黎 自 个 圣 和 加 礁 无 图 ， 即 傈 一 个 代表 屠 眼 前 
昨 刻 死 忌 面 殉 寺 莅 钛 妆 参 入 直人 族 么 。 虑 有 ， 便 会 接收 一 个 邮 大 rt， 傈 扎 黎 代表 上 性 入 面 
分 数 殉 变动 。 一 般 歼 讲 ， 值 得 注意 师 就 穆 个 峙 殉 价 闪 可 能 会 倚赖 成 个 之 前 死 一 连 串 死 尺 急 
同 似 盆 才 祭 ， 因 须 由 某 个 总 祭 随 时 可 能 要 等 成 几 干 个 齐 文 伏 先 至 收 春 昨 个 总 肢 匹 相关 直 天 


EE 
= 


因 有 扁 个 放 舌 泽 傈 会 晓 舍 眼前 疏 刻 无 持 ， 所 以 个 任务 傈 洗 全 好 观察 大 刁 [33]， 而 好 多 圣 委 
加 答 匹 条 天 都 傈 钼 余 攻 好 淹 好 到 关 〈 即 傈 有 可 能 完全 惟 单 惩 眼 前 瞧 个 针 上 面 瞳 到 无 野 黎 
理解 当前 无 情况 ) 。 故 此 甩 ， 一 条 和 义 尺 急 同 观 察 死人 牟 人 四 入 就 变 几 做 个 子 改 虹 超 殉 阅 夺 ;而 
个 子 改 上 肥 超 就 傈 靠 住 举 到 件 信 入 黎 学 他 路 后 至。 岭 个 壮 妆 加 秦 死 牟 硼 入 吕 符 都 当 引 会 
岑 有 限 无 乔 文 扰 数 量 入 面 完结 。 邓 个 看 好 今 就 引起 目 一 个 大 但 作 夫 码 关 殉 闪 持 类 至 些 
人 急 关 此 入 (MDP) ， 而 每 一 人 条件 胡 入 傈 一 个 李 入 知 关 殉 知 关 。 结 果 肠 ， 我 供 就 可 以 壮 状 


李 为 MDP 而 设 咀 揣 彦 居 死 强化 学 习 方 法 ， 具 用 成 休 舍 蜀 关 S_t 黎 做 瞧 草 文 t 死 僻 关 虐 针 台 
乔 人 对 就 得 导 籽 。 


个 者 舌 区 目标 就 傈 要 同 个 圣 才 加 稚 互 动 ， 透 过 挟 总 肢 黎 总 全 齐 六 未 来 至 时 知 。 我 供 区 个 知 
着 尖 半 参 邹 ; 当 李 热 紫 叶 和 看 傈 逐个 乔 广 佑 用 个 起 夭 y 歼 本 “ 星 关 怀 人 Y 边 度 都 会 做 
了 
R= } J ip 
0.99) ， 同 埋 雁 直 旋 岭 弄 光 tt 无 赵 些 村 六 星 礁 类 时 和 掉 做 。 !:; ; 而 好 R_t 入 面 死 


T 甫 就 代表 个 性 完 结 邮 必 个 午 光 伏 。 我 供 李 趣 洛 个 借 季 右 总 对 顽 炊 超 舍 Q*(s,a) 做 晓 完 某 
个 命 者 必 s 跟 住 委 某 个 总 会 a 之 后 ， 跟 住 任何 痊 好 合 之 下 可 以 达到 无 至 大 岁 钠 礁 关 时 秀 
0 (50) =maxrBlRis 二 $0 一 4, ,而 惟 Q* 入 面 殉 t 休 一 个 关 全 都 必 到 癌 合 (或 者 地 
妓 层 必 洒 者 厚 总 会 实 ) 死 闪 好 谷 。 


个 饼 季 硝 尺 怨 耗 权 起 舍 傈 遵从 一 人 条 叫做 毕 将 学 加 用 死 重要 齐 育 碌 季 ， 傈 基 基 以 下 死 直 
觉 : 如 果 我 供 已 经 知道 全 所 有 有 可 能 死 总 有 贫 a 皮下 个 齐 广 然 死 合 略 六 S' 死 饼 季 阔 耗 放 
Q*(s',a') 蝶 话 ， 惟 个 僻 季 阁 侨 礁 邮 就 傈 要 挟 一 个 会 总 拿 旁 Xr+YQ (Ss ,4 ) 死 风 织 堆 关 直 
放 殉 尽 忽 a': 

Ol(sa) =E|r+y max QO"(s,a)ls,a 


好 多 强化 学 习 学 川上 7 萎 殉 基本 六 村 举 就 作 握 个 竺 关 学 地 伟 以 一 个 遂 毒 叮 季 类 平 卉 关 
Qin1(s,9) 二 Blr 十 7 maxw Qi(s 4 Ja 柳 和 于 季 齐 关 个 总 舍 括 放 直 会 。 随 住 | ~ co ， 罕 个 
履 死 二 放 滋 毒 昕 会 学 疏 邮 疹 傈 会 早报 让 到 一 个 鲜 季 闭 总 分 直 族 直 会 ， 即 傈 Q_i 一 Q。 实 
际 黎 讲 ， 伴 个 基本 死 平 靳 此 傈 文 实用 刁 ， 因 为 个 总 对 直人 族 起 伟 要 逐 休 谷 孝 必 委 委 章 关 出 
黎 ， 傈 有 得 做 舌 赋 蚌 耸 会 刁 。 反 而 肝 ， 夺 学 外 时 堆 会 da 
委 章 关 个 总 舍 才 放 址 凶 Q(5,G; 站 全 5,4) 。 内 强化 学 习 采 个 学 妆 甩 季 里 天 证 要 个 就 通 
ne 
譬如 一 个 欢 是 厂 香 。 我 供 提 到 个 有 李 秀 类 6 殉 认 旷 奈 秀 超 急 半 托 人 章 冬 就 会 叫 伍 做 个 Q 
丘 委 。 要 和 着 一 个 风 是 有 委 研 ， 我 供 可 以 盼 滋 毒 叮 会 | 调节 地 瓶 史 辛 稚 90_i 歼 溅 低 岑 毕 关 学 
帮凶 入 面 殉 六 会 矢 光 咱 ， 用 某 之 前 死 滋 毒 串 艰 殉 泪 星 广 毒 引 同 埋 李 半 振 全 壮 故 刁 才 族 


?一 7 十 》 maxd 中 (ai 人 ) 觅 咎 好 委 类 村 亿 季 府 故 尾 孝 轴 r 十 》 maxw CT" (sa ) 。 4 入 榜 贤 
就 会 网 造 一 连 串 瞧 每 个 六 音 吓 伟 i 都 继 死 认 从 直人 妥 Li(0_i) ， 
L:(0,) = [(Es lyls,a] — Q(s,a; 0)7] 

"Br gy y—Q(s,a; 0)) | + Ear[Vs [Yl]. 
尤其 是 计 ， 棱 徐 屋 叙 倚靠 他 县 和 天 乔 云 上 ， 邓 个 同 至 奴 全 簿 夫 傅 媚 采 大 用 殉 符 怖 傈 相反 
师 ， 因 为 和 后 者 会 岭 夺 J 采 之 前 盐 入 分 几 先 师 。 岭 人 律 邓 半 作 人 急死 每 个 阶段 所 ， 储 邓 痉 入 是 第 i 
个 办 入 超 急 改 阵 时， 我 供 会 榴 夭 死 字 黎 抽 造 一 连 串 于 他 填 和 天 饼 季 曾 耸 舍 凌 竹 。 最 和 后 改 个 
达 广 就 傈 李 套 尾 殉 示 只 ， 但 久 倚 束 我 供 而 家 人 至 瘙 么 是 死 排 虹 浴 右 和 0_i， 故 此 可 以 无 
视 伍 。 将 个 办 六 超 怨 碎 类 起 明 好 稀 和 李 尖 叶 纳 关 季 便 乔 关 ， 蛤 榜 斌 我 供 就 得 夺 以 下 殉 胡 
ee 


全 天 


VoL(0) =Ear,s 


但 休克 ， 记 计价 个 地 吴 性 成 个 罗 捧 乔 肢 会 摆 文 熙 乔 全 所 加 好 慢 : 故此 经 常会 用 钾 星 入 专 
ES Eo a 。 每 个 乔 文 伏 之 后 平 弃 关 返 至 乔 关 、 用 一 个 义 全 挫 
黎 代替 个 岁 摧 弄 会 再 加 埋 参 由 一 负 -1， 敢 样 呈 就 可 以 改 奉 个 闷 当 秀春 叶 插 赴 返 大 家 熟悉 
殉 Q 轧 PT A [19] 。 


一 


r++) max QO(s df 日 )— Ol(s,a; 0) ) )vaQ $s,d:0 中 


二 有 ， 涯 个 学 咱 8 了 夫 叙 亲 帮 夺 是 ， 伍 会 又 使 明确 惟 估 个 旦 香 同 新 伞 凶 奔 研 这 必 
Plr,s'|s,9) , 叙 直 接 归 用 李 歼 自 个 尘 妆 加 锥 殉 全 新 笋 什 类 个 强化 学 习 任 务 。 个 学 诈 盱 起 亦 
都 傈 佚 灯 好 全 刁 ， 伍 会 学 夺 关 放 邮 村 闪 好 他 2 一 argmaxy Qls,4'; 切 无 野 ， 而 同时 会 跟 住 一 
个 确保 个 洗 归 有 足 钢 惟 探 索 个 知 类 知 尖 殉 生 思 地 六 李 必 娩 此 会。 实际 黎 讲 ， 个 学 由 时 堆 
周 不 时 会 用 一 个 地 村 准 好 全 笋 挟 个 人生 烤 地 六 李 必 和 媳 毕 分 ， 即 人 有 1 - 8 死机 率 会 跟 返 个 
地 村 蕉 好 全 ， 而 其 儿 s 无 机 率 就 会 曙 夸 惟 挟 个 总 从 


查 Q 须 委 匹 条 采 学 必 时 地 
子 由 时 堆 工 种 人 涌 几 要 黎 疗 檀 轴 所 
替 籽 合 黎 挟 同 执行 个 总 有 伟 。 


: 


子 性 时 炒 。 个 并 其 会 根据 一 个 基准 Q 死 e 地 他 


右 限 制 长 度 无 压 史 傈 好 准 氛 黎 做 履 哺 顺和 邯 无 笠 芋 刁 ， 所 以 肝 我 供 无 Q 直 肢 就 会 泽 傈 用 赵 公 
炸 长 度 而 傈 由 上 述 无 直 祭 p 黎 攻 套 和 出 歼 殉 历史 。 为 卜 令 到 个 子 改 皮 起 可 以 拓 夺 大 殉 
时 丘 夺 得 黎 而 广 会 大 据 上 ， 个 子 愉 必 蕉 傈 改 几 标准 无 千 春 汉 Q 媚 朵 两 样 野 上 里 。 


第 一 样 野 奈 ， 就 公用 瞧 个 叫 疼 知 虹 只 呈 新 [23] 匹 悉 鸣 ， 个 芒 败 会 将 每 个 草 远 伏 入 面 死 刘 
舌 死 岁 弛 时 县 e t= (s_t, a_t,r_t,s_{t+1}) 储 起 具 瞪 个 洗 超 岭 个 弄 锥 会 D_t= 
\te_1,…,e_tNj， 而 个 弃 厌 估 将 好 多 殉 炎 六 欠 尖 (其 中 要 虹 鞭 崔 个 盔 辛 肪 知 关 先 至 到 炎 失 
参天 死 完 结 ) 都 冰 络 入 个 虹 产 深 亲 时 夺 。 


瞧 个 子 改 虹 超 殉 半 甩 好 并 入 面 ， 我 供 填 状 梭 Q 旗 厅 于 齐 关 ， 亦 叫 圣 邓 竹 医 半价 关 ， 寺 状 
落 盏 随机 上 怜 由 个 储 全 新 死 业 入 面 抽出 黎 殉 乡 结 虹 友 (s, a, r,s') ~ U(D)。 对 比 标准 殉 阅 办 及 
Q 记 PT， 邮 个 半 产 决 有 线 个 好 处 怀 。 一 黎 ， 每 一 步 所 得 殉 乡 季 旦 全 都 有 机 会 傈 崔 好 多 乔 关 
半 讲 关 夺 会 用 到 ， 星 就 大 义 提升 齐 礁 学 村 急 伞 。 二 歼 ， 直 接 怜 用 连续 死 全 六 黎 学 府 件 事 
及 傈 好 效率 刁 ， 因 为 于 全 苯 之 间 无 哇 吨 困 肝 好 强 ; 明 奔 瘙 和 上 绰 全 斯 有 访 ， 就 会 擂 夺 举 至 
皇 吁 困 伎 ， 从 而 减低 至 平 齐 关 无 才 叶 会。 三 黎 ， 学 笠 壮 好 全 性 阵 时 ， 现 成 无 瓶 吐 圣 意 傈 决 
定 几 下 个 氛 黎 知 失 钼 喷 圣 达 无 全 站。 璧 如， 如 果 个 总 全 齐全 总 祭 就 傈 要 向 左 行 ， 恰 个 时 
采 季 公 和 媳 去 舍 会 伟 到 黎 自 左手 边 匹 全 新 奈 文 学 凡 关 分 ， 如 果 个 意 全 痉 舍 总 肢 之 后 变性 要 
向 右 行 ， 上 性 个 关 采 牵 么 妓 委 急 亦 都 会 变 。 星 样 及 就 好 容易 虞 村 李 又 理想 殉 李 关上 由 好 并 会 
点 样 出 分 黎 ， 同 埋 伴 排 哎 辛 右 会 点 样 纵 卜 岑 个 差 殉 术 界 学 好 壮 ， 其 至 乎 炎 鸡 性 惟 奔 斤 正 
[20]。 


用 性 鸭 弛 时 去 有 新 有 读 ， 个 毕 灶 地 不 李 公 和 奸 去 肢 就 伙 几 傈 好 多 之 前 知 关 无 平均 ， 惟 就 绎 天 
矣 春 九 叮 同 埋 可 以 避免 大 他 站 时 对 意 匹 波动 或 者 寞 所 由 色 。 注 意 ， 用 逻 弛 时 佐 时 条 黎 做 
学 习 咀 话 就 一 定 要 用 佚 欠 好 全 〈 因 肪 我 供 而 成 无 瓶 吐 对 意 同 之 前 扎 黎 稀 全 外 无 傈 又 同 
师 ) ， 而 对 样 野 就 鼓励 几 我 供 去 挟 Q 轧 有 好 。 


实际 黎 讲 ， 我 供 无 子 上 性 叶 夫 泽 傈 会 内 个 时 关 圣 订 时 谷 全 最 近 无 N 个 多 弛 时 佐 季 苯 六， 同 
埋 做 平 齐 关 疏 阵 时 会 地 邮 赴 文 好 六 明 夺 惟 由 D 必 度 全 戎 。 邓 个 十 攻 达 某 程度 上 傈 限制 


刁 ， 因 为 个 圣 亲 哇 御 类 压条 叉 会 分 辨 夺 他 紧要 无 闭合 人 ， 同 埋 基 於 限制 几 死 美和 订 时 分 和 

N 奔 个 窦 关 才 会 成 日 将 至 新 无 新 全 人 肢 黎 代替 华 外 至。 同样 六 ， 季 邮 赴 文 全 条 傈 可 以 用 界 奔 

同样 无 重要 性 界 所 有 内 个 叶 站 问 订 吁 无关 全 祭 。 一 个 复杂 至 匹 全 汀 后 至 就 保 可 能 会 特 
到 可 以 学 夺 至 多 野 死 凑 件 急 ， 就 好 似 革 个 虹 弄 会 领 打 惟 [30]。 


对 於 笠 认 孝 Q 媚 朵 无 第 二 个 改变 就 傈 针对 利用 改 咏 丘 拖 黎 再 增加 我 供 问 起 无 稳定 性 邓 样 
野 ， 就 傈 要 监 个 Q 辑 人 朵 平 齐 关 春 用 一 个 另外 无 用 轩 丘 和 邯 黎 知 凯 串 关 至 Q 轧 PT 大 上 刁 yj。 仔 
细 符 黎 讲 ， 皮 每 C 个 说 庆 关 奔 听 ， 我 供 要 员 个 丘 革 Q 黎 释 做 \^A{Q} ， 跟 住 就 性 下 C 个 王 齐 关 
谷 握 \A{Q} 黎 站 崩 叮 关 一 地 用 黎 十 齐 关 Q 无 Q 轧 PT 证 弃 关 。 邓 个 改 释 喷 就 增加 性 个 子 外 叶 
零 无 稳定 性 ， 就 又 似 得 标准 无 竹 认 区 Q 旗 采 惟 ， 个 半 齐 关 一 增加 Q(s_t,a_t) 就 会 引起 器 
尺 急 a 殉 Q(s_{t+1},a) 殉 上 升 ， 蛤 就 杯 都 引起 埋 个 礁 怖 y_j 无 上 升 而 引致 个 痊 好 全 无 波动 
或 者 弃 失 由 穴 。 用 一 个 华 至 无 一 全 看 噬 圣 意 抵 就 可 以 加 大 Q 死 辣 齐 天 同 圩 齐 关 影响 春 至 符 
刁 y_j 之 问 匹 至 力 ， 蛤 就 可 以 大 大 减低 讲 气 届 六 或 者 波动 无 机 会 。 


另外 际 ， 将 个 瞪 个 半 奔 类 "二 ?maxr OU ;入 ) 一 Ci 人) 窜 黎 无 光 咱 毒 光 吴 尾 -1 同 

1 之 间 礁 样 野 呈 原来 都 效 帮 到 手 。 因 为 |x | 涯 个 趟 他 殉 李 时 封 季 类 及 x 傈 负数 疏 阵 时 就 傈 
-1 ， 而 正 数 心 阵 时 就 傈 1， 所 以 额 个 会 矢 淆 昨 惟 -1 同 1 之 间 即 傈 等 同 旅 崔 (-1, 1) 举 个 半 

毒 才 以 外 用 一 个 炎 系 妹 赵 放 办 疼 超 会 。 奉 种 无 光 咱 颖 亲 亦 都 再 改善 由 个 学 卡 哇 堆 无 称 定 
性 。 


子 咯 N9 坊 1 : 有 岁 镶 时 只 旦 产 殉 查 Q 轧 有 PJ 
学 有 好 欠 界 和 友 个 哎 着 六 亲 秀 吧 DD 做 与 浆 怠 邓 
用 明 奔 乔 云 6 黎 学 邮 参 认 关 个 总 腿 直 四 起 肢 Q 
用 乔 云 6^- = 8 黎 乎 啊 生 粉 妆 个 稚 刁 总 盆 直 四 直人 肢 \A{Q] 
椒 夹 籽 参 关 =1…M 李 : 
学 邮 伍 办 冯 谷 略 关 s_1={x_3 同 埋 阁 闪 人 驳 关 几 死 全 都 冯 p_1=e(S_]1) 
赴 t=1…T: 
以 机 率 8 黎 挟 一 个 曙 夺 总 人 艰 a_t 
文保 死 话 就 挟 a_t=argmax_{al Q(p(s_t),a;0) 
答 个 圣 妾 加 礁 春 岁 例 刁 关 总 用 a_t 同 埋 观 察 邑 务 rt 同 埋 相 x_{t+1} 
艰 s_ft+1j=s_t, a_t, x_{t+1} 同 埋 关 四 侈 之 p_{t+1}=p(s_{t+1}) 
钾 个 靳 全 多 (wp_t,a_t,r_t,p_{t+1})) 惟 D 入 面 
如 果 个 均 闻 参 崔 然 j+1 类 友 辛 所 关 也 话 : 
Y=] 
又 傈 殉 话 : 
yj=r_j+ymax_{a'}(\W{Q}(p_{+1},a';O-)) 


(» -QO(# a:0) ) 
MN ”J /大 做 册 李 只 夺 名 关 季 类 虹 航 关 季 李 须 秀 排 虐 辛 龙 0 
每 C 步 就 呈 会 W{Q}=Q 


完 直 


完 直 


